Khi còn đang là một thợ mộc học việc,[1] Gregg bắt đầu sự nghiệp bóng đá tại Windsor Park Swifts, đội bóng dự bị cho Linfield, trước khi ký hợp đồng với Coleraine. Năm 18 tuổi ông chuyển tới Doncaster Rovers. Vào tháng 12 năm 1957 ông chuyển sang Manchester United với mức giá 23.000£,[2] mức giá kỉ lục của một thủ môn thời bấy giờ.[3]

Trong màu áo United ông có 48 trận giữ sạch lưới. Đôi khi ông được gọi với biệt danh 'Người hùng Munich'[4][5][6] nhờ nỗ lực kéo các đồng đội ra khỏi chiếc máy bay gặp nạn trong Thảm họa hàng không München – trong đó có Bobby Charlton, Jackie Blanchflower và Dennis Viollet. Ông còn cứu giúp Vera Lukić, người vợ mang bầu của một nhà ngoại giao Nam Tư và con gái bà, Vesna, cũng như huấn luyện viên Matt Busby đang bị thương nặng. George Best, người từng lau giày cho Gregg, phát biểu rằng, "Dũng cảm là một chuyện những hành động của Harry còn hơn cả dũng cảm. Đó còn là lòng tốt [của ông ấy]."[1]

Tuy vậy ông không thể giành bất cứ huy chương nào cùng câu lạc bộ dù bắt cho United ở giai đoạn thành công của đội bóng. Ông không thể có mặt trong chiến thắng ở Chung kết Cúp FA 1963 do chấn thương vai, và một loạt các chấn thương sau đó khiến ông không thể có đủ số trận để nhận huy chương vô địch quốc gia vào mùa giải 1964-65 và 1966-67. Ông cũng là người thua cuộc trong trận thua ở Chung kết Cúp FA 1958 và cùng United trải qua giai đoạn đi xuống mùa giải đó sau khi đội mất quá nhiều cầu thủ trong thảm kịch ở München. Một năm sau United trở lại mạnh mẽ nhưng chỉ đứng thứ hai sau Wolverhampton Wanderers.

Ông chuyển đến Stoke City vào năm 1966. Ông bắt cho Stoke đúng hai trận, đầu tiên là trận thua Leicester City 4 – 2 nhưng sau đó lại giữ sạch lưới trong thắng lợi 2 – 0 trước Blackpool. Harry Gregg giải nghệ vào cuối mùa giải 1966-67.[7]